HubMixer: Progressive Latent Hub Mixing for Parameter-Efficient Feature Interaction in Recommendation
HubMixer：推荐系统中渐进式潜在 Hub 混合的参数高效特征交互
🧭 参数高效特征交互 · 潜在 Hub 混合 ★ 深度解读
Kuaishou Technology · Tsinghua University
用少量可学习 latent hubs 组织异构特征交互，参数更少、AUC 更高
📌 工作参考价值（4 点）
- 在已 token 化的精排模型里，若不想对全量 token 做 O(T^2) 交互，可引入 H 个可学习 hubs（H<<T）做 induction→hub self-attention→token readout，计算降到 O(TH)，适合电商/广告 ranking 做参数受控升级。
- 保留 token 级 field identity：不要将交互后的 hubs 池化成全局向量广播；用 token-conditioned cross-attention readout + LayerScale 残差写回，多任务各目标能按需取不同交互语义，避免全局坍缩。
- 静态 learnable hubs 加一个由 mean-pool token 生成的输入条件残差，成本低但能让 hub 随样本软路由；T=32 时 H=16 是精度/参数甜点，再多收益饱和，可作为默认配置参考。
- cross-attention 在 H<<T 时是小矩阵计算，批处理友好、便于 kernel fusion，适合在已有 token-mixing 排序模型上做轻量替换并上线验证深度转化目标。